End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference
端到端动态稀疏实现资源自适应大语言模型推理
🧭 LLM 推理动态稀疏化与资源自适应 ★ 深度解读
Meta AI · University of North Carolina at Chapel Hill
通过预算感知的门控网络动态跳过层、剪枝头并缩短推理长度，单模型覆盖完整计算-精度 Pareto 前沿
📌 工作参考价值（4 点）
- 动态资源适配可用于推荐/搜索的 LLM 推理服务：训练时让模型学会根据实时资源预算动态跳过层或剪枝 head，线上按请求 SLA 或 GPU 余量自动调整计算量，避免 OOM 或超时。
- 门控网络设计可直接复用：轻量 MLP 门控接受隐藏态 + 预算嵌入，配合 LoRA 适应动态裁剪后的分布偏移，工程上易集成到现有 LLM 服务框架。
- 联合优化目标保证质量不崩塌：同时使用交叉熵、知识蒸馏和预算匹配损失，在电商多轮对话或广告文案生成中保持回答质量，且可显式控制推理长度。
- 推理段控制技巧适合 Agent 思考长度管理：通过引入 <think></think><answer> 结构，用门控控制推理 token 长度，在预算紧张时直接截断思考进入回答，可用于 Agent 自适应降级。